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Zu sammenfassung 

Verfabren und Vorrichtung zur digitalen Bildverarbei- 
tung von CMOS-Kamerabildern 




10 
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Die Erfindung betrifft ein Verfahren sowie eine Vor- 
richtung zur digitalen Bildverarbeitung von CMOS- 
Kamerabi Idem. 

CMOS-Kamerae weisen bei der Aufnahme von aich bewegen- 
den Objekten mat hohen Kontrasten einen Naohleuchtef - 
fekt auf. Dieser fuhrt bei der Bildauswertung zu feh- 
lesrhaften Werten. 

Mit dem erfindungsgemaSen Verfahren und der vorrichtung 
iat ea -nunmehr moglich, eine verbesserte digitale Bild- 
auswertung von CMOS-Kamerabildern zu ermoglichen. Durch 
Subtraction einer definierten Abklingkonstante a nfulti- 
pliziert mit dem Ausgangssignai gr.von der zeitliohen 
Anderung des Ausgangssignalwerte kann der aktuelle Pho- 
tostrom ohne Nachleuchtef f ekt ermitteit werden.' 
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Verfahren und Vorrichtung zur digitalen Bildverarbei- 
tung von CMOS - Kamerabi Idem 

Die Erfindung betrifft ein Verfahren. eowie eine Vor- 
richtung zur digitalen Bildverarbeitung von CMOS- 
Kamerabildem. 

Urn Bilder mit Rechnereystemen bearbeiten zu konnen, 
museen sie in Datenformate umgesetzt werden, die rech- 
narkompanibel sind. Diese Umsetzung heifit Digitalisie- 
rung. In der digitalen Bildverarbeitung werden die Ori- 
ginalbilddaten in rechnerkonforme Datenformate trans- 
formiert. Sie etehen dann als zwei- oder mehrdimensio- 
nale Funktionen fur die Bearbeitung zur Verftigung. 
Bei der Bildaufnahme wird eine kontinuierliche Szene 
raumlich diskretieiert . Eine Moglichkeit der mathemati- 
schen Beschreibung von digitalisierten Bilddaten ist 
die Notation als Bildmatrizen. Das Bild S (die Szene s) 
ist eine rechteckige Matrix (Bildmatrix) S = (s(x r . y) ) 
mit Bildzeilen und Bildspalten. Der Zeilenindex ist x 
und der spaltenindex i s t y. Der Bildpunkt (Pixel) an 
einer Stelle (Zelle, Spalte) = (x, y) besitzt den Qrau- 
.wert s(x, y) . Es werden also Eletnentarbereiche der Sze- 
ne auf je ein Pixel der Bildmatrix abgebildet. Zur Di- 
gitalisierung von Bilddaten ist eine Rasterung und eine 
Quantisierung notwendig. Bei der Rasterung wird das zu 
digitalisierende Bild durch die Oberlagerung mit einem 
rechteckigen oder quadratischen Gitter in Rasterfla- 
chenstucke unterteilt. Bei der Quantisierung wird jedem 
Rasterflachenstuck ein Grauwert s (x. y) aus einer Grau- 
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wertmenge G zugewiesen. Die Bestimmung dieses Grauwer- 
tes kann punktuell erfolgen oder durch Mittelung uber 
die Rasterf laeh'e . v 

Zur Erfassung digitaler Bilddaten werden neben CCD- 

5 Kameras vielfach auch CMOS-Kameras eingesetzt. Diese 

Kameras finden vielfaitigen Einsatz in Wiesenschaft und 

Industrie wie z. B. Crashaufnahmen und fur die uberwa- 

chung schneller technischer Ablaufe in der Produktion.. 

CMOS- (Complementary Metal Oxide Semiconductor) Kameras 

'10 verfugen gegenuber CCD-Bildsensoren uber eine hone Hel- 

ligkeitsdynamik sowie hdhere zulassige Betriebstempera- 

turen. Die auf die Photodioden dec CMOS Kamera eintref- 

fenden Liehtpartikel (Photonen) werden in elektrischen 

Strom umgewandelt. Den lichtempf indlichen Photodioden 

15 sind . mehrere Transistoren beigeordnet . Die CMOS- 

Kamerapixel besfcimmen ihren Grauwert (Signal) aus dem 

aktuellen Photos trom der Photodioden. Jeder Pixel kann 

einzeln gelesen und ausgewertet werden. Dies ermoglicht 

den wahlfreien Zugriff auf die jeweils interessanten 

20 Bildteile und hat inabesondere Vorteile in der indus- 

triellen Bildverarbeitung. Mit Hilfe von CMOS-Kameras 

konnen sehr none Bildraten erzielt werden (extreme 

zeitlupe) . Die Zugriff szeiten auf einzelne .Pixel sind 

. dabei - ^turgemafi sehr kur z , d. h. der aktuelle Photo- 

25 Strom hat nur eine sehr kurze Einatellzeit -zur VerfQ- 
gung. 

sei hohen Kontrasten und sich bewegenden, bzw. sich 
schnell verandernden Objekten, dominieren vor allem bei 
hohen Bildraten die noch nicht abgeklungenen starken 
StrSme von ehemals hellen Bildbereichen die jetzt dun., 
kel gewordenen Signalbereiche. Die in der Pixelschal- 
tung enthaltenen „parasitaren» Kapazitaten (siehe [4J , 
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Kapitel 8.3) bewirken eine zeitliche Versehmierung des 
Pixelsignals . Dieser Effekt wird ira Rahmen der vorlie- 
genden Brfindung als „kapazitiver Nachleuchtef fekt tt be- 
zeichnet. Die durch die Oblicherweise logarithmische 
Darstellung der Werte sehr hob© Grauwertauf 16siing der 
Kamera ist dadurch stark reduziert, bzw. es werden 
stark f ehlerbehaf tete Werte geliefert. Bewegt sich bei- 
spielaweise ein helles Signal uber einen relativ dunk- 
leu Hintergrund, z. B. ein Schweifipunkt ttber ein Blech, 
so zieht es einen Schweif hinter .sich her (vgl. [4] , s. 
37). Dieser Schweif Oberdeckt den . dunkleren Hinter- 
grund. Mochte man z. B. beim Sehweifiea eines Bleches 
die Schweifcnaht direkt hinter dam Schweifipunkt kpntrol- 
lieren, so mufi man warten, bis der Schweif von dem 
15 NahtstCtck verschwunden ist. 

Es gibt menrere M6glichkeiten, diesen nachteiligen Ef- 
fekt des kapazitiven Nachleuehtens auf die Geschwindig- 
keit der Bildaufnahme zu korrigieren: 

Durch eine maSige Untergrundbeleucbtung kann die Entla- 
dung von hellen Pixeln deutlich beechleunigt werden. 
1st die Bewsgungsrichtung bekannt, kann feraer bei be- 
stimmten Anwendungen, bei denen die Position von realen 
Objekten Oder von proj.izierten Mustern erfaSt werden 
soil, die Analyse entgegen der Bewegungsrichtung erfol-. 
25 gen, d. h. man detektiert den schnellen Wechsel von 

dunkel auf hell. Diese Verfahren eignen sich allerdings 
nur bei bestimmten Anwendungen, wenn beispielsweise die 
Beleuchtung bzw. die gesamte Aufnahmesituation bekannt 
ist bzw. gesteuert werden kann. Die genannten Auswerte- 
3 0 strategien kdnnen nicht sichtbare Signalanteile aber 
lediglich Ignorieren bzw. umgehen, nicht rekonstruie- 
ren. 
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Die Auswertung von optischen Prozessen wis z. B . fur 
das Abklingen der Temperatur in Warmebildem erfolgt 
mittels mathematischer Modelie. . So ist beispielsweise 
aus [3J, Pig. 9 die Verwandung einer Dif f erentialglei- 
S chung (DGL) bekannt . Bei diesem Verf ahren warden die 
physikalischen Bedingungen der Bildaufnahme in einer 
DGX. beaehrieben und unbekannte Parameter diaser DGL Hu- 
meri sch geschatzt. Bekannte lokale Schatzverf ahren sind 
hierbei u.a. „ ordinary least squares (OLS)«, „ total le- 
10 ast squares (TLB) * und „ mixed OLS-TLS" [5], die alle 
eine spezielle Auspragung, der jedem Standardwerk der 
Numerik zu entnehmenden Methods, der kleinsten Quadrate 
sind. Weiterhin sind sogenannte Vari at ionsverf ahren mit 
Daten- und Glattheitstermen gebrauchlich (siehe z. b! 
15 . [l, 6J) . ■ 

Die Anwendung entsprechender Modelie fur die Auswertung 
von CMOS-Kamerabildem wurde bisher in der Literatur 
nicht beschrieben. ', 
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Es 1st daher Aufgabe der Erfindung ein Verf ahren und 
eine Vorrichtung zu schaffen, mit dem eine verbesserte 
digitale Bildverarbeitung von CMOS-Kamerabildem m6g- 
lich ist. 

Ausgehend vom Oberbegriff des Anspruchs 1 wixd die Auf- 
gabe erfindungsgemafi geldst, mit den im kennzeichnenden 
Teil des Anspruchs 1 angegebenen Merkmalen. Weiterhin 
wird die Aufgabe ausgehend vom Oberbegriff des An- 
spruchs 9 erfindungsgemaS gelost, mit den im kennzeich- 
nenden Teil. des Anspruchs 9 angegebenen Merkmalen. 
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Mit dem erf indungsgem&£en Verfahren und der Vorrichtung 
ist eg nunmehr moglich, sine schnelle und direkte Ax*s- 
wertung von sich bewegenden Bildem rait hohen Kontra- 
sten 2U ermoglichen, ohne daS kapazitive Nachleuchtef - 
fekfce zu einer verzogerten Auswertung ffihren." Es wird 
moglich, der^ aktuellen Photostrom ohne die kapazitiven 
Nachleuchtef fekte, die aich aus physikalischen Gruiiden 
nicht vermeiden lasaen, auszuwerten, Es wird weiterhin 
moglich, hohe dynamische Anderungen von hell ' nach dun- 
kel Chohear Kontraste) z. b. in Hochgeschwindigkeits- 
Aufnahmen zu rekonstruieren. Es wird moglich, Intensi- 
taten mit minimierten Einflussen dea Nachleuchtens* 
quanfcitativ auszuwerten, 

15 Vorteilhafte Weiterbildungen sind in den' Unteranspru- 
chen angegeben* 
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Itn Folgenden soil die Erfindung beispielhaft beschrie- 
ben werden. 

Der Zuaammenhang zwisciien Kapazitaten, Photos trom und 
Bilddaten lafit sich fur bewegte Objekte mit Hilfe einer 
in den Grauwerten linearen partiellen Dif f erentialglei- 
chung (i) darstellen, die wie folgend formuliert werden 
Jcann: 
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Dabei gilt; 

3 - Grauwert der Bildfolge 

c = Abklingkonstante (normalerweise negativ) 

q « interessierender Quellterm (Licht) 

u - lokale (Objekt-)Verschiebung t?=(dx/dt, dy/dt) 

Der Grauwert g der Bildfolge stellt die von der CMOS- 
Kamera direkt gelief erten, unkorrigierten Bilddaten 
dar. Sie eind das eigentliche Ausgangs signal . Unter der 
Bezeichnung Ausgangs signal wert ist im Folgenden das ge- 
samtje durch den Photonenserom erzeugte Mefisignal g- zu 
verstehen. 

Die Abklingkonstante c ist der physikalische Parameter, 
der der Bntladungsgeschwindigkeit der Kapazitaten in 
der CMOS-Kamera entspricht. Die aus der Kapazitat zwi- 
schen den Auslesevorgangen' abgef lossene Ladungsmenge 
wird durch den Ausdruck c*g angegeben. 

Der Quellterm q stellt die zum Zeitpunkt t zum Photo- 
strom g hinzukommende Ladung dar. Damit ist g das in- 
teressierende zielsignal. 

Durch Subtraktion des Terms c* 3 von der zeitlichen An- 
derung dea Ausgangssignalwerts g kann der' aktuelle Pho- 
tostrom ohne kapazitive Nachleuchtef f ekte, namlich der 
Quellterm q, der im Folgenden ale Zielsignalwert be- 
zeichnet wird, bestimmt we r den . 

Eine vorteilhafte Ausgestaltung des Verfahrens ist da^ 
durch gekennzeichnet, dafi eine Parameterschatzung 
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durchgefuhrt wird. Dieser Verf ahrensschritt ist fur 
Bilddaten mit hohen Konhrasten besonders geeigriet, da 
hier Nachleuchteffekte relevant aind.. Diese Bereiche 
lassen sich schnell und einfach detektieren, beispiela- 
weiee mittela dee in [1] beschriebenen lokalen Kon- 
trastraafies, gefolgt von einer Schwellwertsegmentierung. 
Beechrankt man die Parameterschatzung auf dieae Berei- 
che, so kann eine erhebliche Beschleunigung der Berech- 
nung erreicht werden. 

Aus der Literatur [3] ist die „ total least squares" 
(TLB) Methods fur die allgemeine Parameter schatzung in 
partiellen Dif ferentialgleichungen dieses Typs bekann't. 
Sie eignet sich beispielsweise dazu, diese Parameter- 
schatzung durchzuf uhren . Auch andere, zum Teil oben ge- 
nannte, bekannte Parameterschatzverf ahren wie z. B. die 
^ordinary least squares (OLS) * oder die. „Mixed OLS-TLS" 
und/oder Variationsmethoden sind fur diese Schatzung 
gaeignet . 

in einer vorteilhaften Ausgestaltung des Verfahrens 
lafit sich der Quellterm q mit Hilfe einer Parameter- 
schatzung wie z . B durch die Methode der „total least 
squares ■ [3] aus den originalen Ausgangssignalwerten 
bestiimnen. Hierzu wird die oben angegebene Different!- 
algleichung (1) varwendet . Aus dem Ausgangs signal g 
werden dabei mittels diskreter Faltungen mit Ablei- 
tungskernen die raum-zeit lichen Ableitungen von g be- 
stimmt. Diese und alle bereits z. B . aus Kalibrier- 
schritten oder Aufnahmebedingungen bekannten Parameter 
werden in (i) eingesetzt. Aua dem so entstandenen Glei- 
chungssystem wird gr(x, y, t) per Parameterschatzung er- 
mittelt. 
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Bine vorteilhafte Ausgestaltung des erf indungsgem&Sen 
Verfahrens ist dadurch gekennzeichnet, dafi die Abkling- 
konstante c ebenfalls durch Parameterabschatzung be- 
sfcimmt werden kann. 

Eine vorteilhafte Ausgestaltung des erf indungsgemaSen 
Verfahrens let dadurch gekennzeichnet, daS die Abkling- 
konstante a durch vorherige Kalibration der CMOS-Kamera 
bestimmt werden kann. si© muG dann nicht mebr durch Pa- 
rameterschatzung bestimmt werden. Dadurch wird eine Be- 
scfaleunigung des Verfahrens ermoglicht . Die Abklingkon- 
stante c ist unter genugend konstanten Betriebsbedin- 
gungen eine nur von der Kamera abhangige, zeitlich 
nicht variable Gr&Se, d.h, a = c(x, y) . Bei guter Homo- 
genitat der Pi*el iat c = const. Die Abklingkonstante ' c 
laSt sich daher auch offline in einem Kalibrierungs- 
schritt berechnen. 

Eine vorteilhafte Ausgestaltung des erf indungsgemaSen 
Verfahrens ist dadurch gekennzeichnet, daS die Objekt- 
bewegung u ebenfalle durch Parameterschatzung bestimmt 
werden kann. Bereits bekannte Ob j ektbewegungen mussen 
nicht .geschatzt werden. Die Parameter u* und u y konnen 
dann in die Dif f erentialgleichung (i) eingesetzt wer- 
den. Die Parameterschatzung wird dadurch vereinfacht 
und beschleunigt . 

Eine vorteilhafte Ausgestaltung des Verfahrens ist da- 
durch gekennzeichnet, daiS das erf indungsgemafie Verfah- 
ren mit Hilfe von FPGA-s (Field Programmable Gate Ar- 
rays) implementiert wird. Bescnrankt man die Ausgange- 
signalwerte auf niont zu groSe Bildausschnitte, so wird 
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es mdglich, Bildraten von mehrereh Bildern pro Sekunde 
zu erreichen. 

Die Erfindung betrifffc weiterhin eine Vorrichtung zur 
digitalen Bildverarbeitung in CMOS. Kamerabildern, 
dadurch gekennzeichnet, daS sie fur die' Durchfuhrung 
des erfindungsgemafien Varfahrens geeignet ist. 
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13. 



Pat entansp ruche 



l- Verfahren zur digitalen Bildverarbeitung in CMOS- 
Kamerabildern, 
dadurch gekennzeichnet , 
5 dafi die zeitlichen Anderungen der Ausgangs signal - 

werte g sich aus dem Term c*gr und dem Quellterm q 
zusammensetzen und die Be'rechnung der Zielsignal- 
werte q die Subtraction dea Terms c*g von der zeit- 
lichen Anderung des Ausgangssignalwerts g- der Bild- 
10 daten umfafit. 

2. Verfahren nach Anepruch 1, 
dadurch gekennzeichnet, 

dafi f* r sereiche von Bilddaten mit hohen Kontrasten 
eine Parameterschatzung durchgeffthrt wird, 

15 3 . Verfahren nach. einem der Anspriiche 1 bis 2 , 
dadurch gekennzeichnet, 

dafi zur Parameterschatzung die „ total least 
squares* (TLS) , „ ordinary least squares" (OLS) . 
„Mixed OLS-TLS" und/oder Variationsmethoden verwen- 
20 det werden. 

4. Verfahren nach einem der AnsprQche 1 bis 3, 
dadurch gekennzeichnet. 

dafi die Abklingkonstante a und/oder die Objektver- 
schiebung u durch Parameterschatzung aus den Bild- 
25 daten bestimmt wird. 

5. Verfahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, 



Forschungszerrtrum JQIich GmbH „ 4011rtM 
PT 1-2029/ha-w/e 13,12.2002 

12 - 

daS die Abklingkonstante c durch Kalibration der 
Kamera bestimmt wird. 

S. Verfahren nach einera der Anspruehe l big 5, 
dadurch gekennzeichnet, 
5 daS die Different ialgleichung (l) 

*g(x, y,t) 



mifc 



( T-Aww^ ' 3 = G:rauwe:rt de ^ Bildfolge 

' u = Objektverachiebung (Verschiebungsvektorf eld) 

a = Abklingkonstante 

q m intereesierende Quellterm (Licht) 



verwendet wird. 



2.0 



7. verfahren nach einem der Anspruehe 1 bis 6, 
dadurch gekennzeichnet, 

dafi bekannte Ob j ektbewegungen und u y direkt in 
• die Differenhialgleichung (1) eingesetzt werden. 

15- S. Verfahren nach einera der Anspruehe 1 bis 7, 
dadurch gekennzeichnet, 

dafi Field Programmable Gate Arrays (FP<3A- a ) imple- 
ment iert werden. 

9. Vorrichtung ZU r digitalen Bildverarbeitung in CMOS- 
20 Kamerabildern, 

dadurch gekennzeichnet, 

daS sie fur die Durchfuhrung des Verfahrens gemafi 
Anepruch 1 bis 8 geeignet ist. 
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